Skolinspektionens enkät till årskurs 5

Psykometrisk analys med Rasch Measurement Theory

Author
Affiliation
Magnus Johansson
Published

December 20, 2022

1 Bakgrund

Dessa enkätdata analyseras inom ramen för projektet Data i dialog och arbetstiden finansieras av Länsstyrelsen i Stockholm. Källkoden till analysen finns tillgänglig genom att klicka på </>CODE till höger om sidans rubriktext. Alla analyser har genomförts med programvara som använder öppen källkod och är fri att ladda ner och använda. All programvara som använts finns listad i sektionen “Referenser” sist i dokumentet. Vi arbetar på detta sätt för att det ska vara möjligt för andra att utan kostnader granska och reproducera våra analyser.

Data från år 2017 för Stockholm, Vallentuna och Vaxholm utgör underlag för en första analys (n = 4748, samtliga med fullständiga data).

Kön n Percent
Flicka 2292 48.3
Pojke 2358 49.7
Annat/vill ej svara 98 2.1

Eftersom vi har såpass få svar i kategorin “Annat/vill ej svara” kodas de om till saknade data. Det krävs åtminstone 250 respondenter i en kategori för att kunna få tillförlitliga värden i en invarians-analys. Dessutom är det tvetydigt vilka som ingår i denna kategori när den som identifierar sig med annan könstillhörighet klumpas ihop med den som inte vill svara. Det är möjligt att den som ej vill svara gör det pga könstillhörighet, men detta är oklart.

2 Lista på alla items/frågor

itemnr item
q1 Skolarbetet är intressant
q2 Skolarbetet är roligt
q3 Skolarbetet gör mig så nyfiken att jag får lust att lära mig mer
q4 Skolarbetet är för svårt för mig (-)
q5 Jag kan nå kunskapskraven i skolan om jag försöker
q6 Jag kan få svårare uppgifter om jag vill
q7 Jag har studiero på lektionerna
q8 På lektionerna är vi elever med och påverkar på vilket sätt vi ska arbeta med olika skoluppgifter
q9 På lektionerna får vi diskutera och debattera olika frågor
q10 På lektionerna stör andra elever ordningen i klassrummet (-)
q11 Mina lärare hjälper mig i skolarbetet när jag behöver det
q12 Mina lärare förklarar vad vi ska göra i skolarbetet så att jag förstår
q13 Mina lärare ser till att ordningsreglerna på skolan följs
q14 Mina lärare är rättvisa mot oss elever
q15 I min skola finns det extrauppgifter när man är klar
q16 I min skola respekterar vi varandra
q17 I min skola följer eleverna de ordningsregler som finns
q18 I min skola finns det elever som jag är rädd för (-)
q19 I min skola finns det vuxna som jag är rädd för (-)
q20 Jag vet vem på skolan jag kan prata med om någon har varit elak mot en elev
q21 Jag känner mig trygg i skolan
q22 De vuxna på skolan reagerar om de får reda på att någon har varit elak mot en elev
q23 Elevhälsogruppen i min skola frågar oss elever hur vi har det i skolan och hemma
q24 Jag är nöjd med min skola som helhet

Svarskategorierna för frågorna är Stämmer helt och hållet, Stämmer ganska bra, Stämmer ganska dåligt, Stämmer inte alls, och ersätts av siffror från 0-3, där 0 = Stämmer inte alls, och 4 = Stämmer helt och hållet. Svarsalternativet Vet ej har kodats som att svar saknas. Således ska höga värden tolkas som positivt när frågorna innehåller positiva påståenden.

Fyra items har ett negativt innehåll och är markerade i datafilens beskrivning med (-), vilket innebär att de ska reverseras (detta har för undersökts med Expected Scores/Value Curves), så därför görs det nu innan vi tittar närmare på data.

3 Deskriptiv analys av rådata

Övergripande bild av samtliga svar på samtliga frågor.

Response category Number of responses Percent
0 4507 4.0
1 12444 10.9
2 44957 39.5
3 52044 45.7

De två lägsta svarskategorierna används sparsamt.

3.1 Deskriptiva data på itemnivå

itemnr item
q1 Skolarbetet är intressant
q2 Skolarbetet är roligt
q3 Skolarbetet gör mig så nyfiken att jag får lust att lära mig mer
q4 Skolarbetet är för svårt för mig (-)
q5 Jag kan nå kunskapskraven i skolan om jag försöker
q6 Jag kan få svårare uppgifter om jag vill
q7 Jag har studiero på lektionerna
q8 På lektionerna är vi elever med och påverkar på vilket sätt vi ska arbeta med olika skoluppgifter
q9 På lektionerna får vi diskutera och debattera olika frågor
q10 På lektionerna stör andra elever ordningen i klassrummet (-)
q11 Mina lärare hjälper mig i skolarbetet när jag behöver det
q12 Mina lärare förklarar vad vi ska göra i skolarbetet så att jag förstår
q13 Mina lärare ser till att ordningsreglerna på skolan följs
q14 Mina lärare är rättvisa mot oss elever
q15 I min skola finns det extrauppgifter när man är klar
q16 I min skola respekterar vi varandra
q17 I min skola följer eleverna de ordningsregler som finns
q18 I min skola finns det elever som jag är rädd för (-)
q19 I min skola finns det vuxna som jag är rädd för (-)
q20 Jag vet vem på skolan jag kan prata med om någon har varit elak mot en elev
q21 Jag känner mig trygg i skolan
q22 De vuxna på skolan reagerar om de får reda på att någon har varit elak mot en elev
q23 Elevhälsogruppen i min skola frågar oss elever hur vi har det i skolan och hemma
q24 Jag är nöjd med min skola som helhet

itemnr item
q1 Skolarbetet är intressant
q2 Skolarbetet är roligt
q3 Skolarbetet gör mig så nyfiken att jag får lust att lära mig mer
q4 Skolarbetet är för svårt för mig (-)
q5 Jag kan nå kunskapskraven i skolan om jag försöker
q6 Jag kan få svårare uppgifter om jag vill
q7 Jag har studiero på lektionerna
q8 På lektionerna är vi elever med och påverkar på vilket sätt vi ska arbeta med olika skoluppgifter
q9 På lektionerna får vi diskutera och debattera olika frågor
q10 På lektionerna stör andra elever ordningen i klassrummet (-)
q11 Mina lärare hjälper mig i skolarbetet när jag behöver det
q12 Mina lärare förklarar vad vi ska göra i skolarbetet så att jag förstår
q13 Mina lärare ser till att ordningsreglerna på skolan följs
q14 Mina lärare är rättvisa mot oss elever
q15 I min skola finns det extrauppgifter när man är klar
q16 I min skola respekterar vi varandra
q17 I min skola följer eleverna de ordningsregler som finns
q18 I min skola finns det elever som jag är rädd för (-)
q19 I min skola finns det vuxna som jag är rädd för (-)
q20 Jag vet vem på skolan jag kan prata med om någon har varit elak mot en elev
q21 Jag känner mig trygg i skolan
q22 De vuxna på skolan reagerar om de får reda på att någon har varit elak mot en elev
q23 Elevhälsogruppen i min skola frågar oss elever hur vi har det i skolan och hemma
q24 Jag är nöjd med min skola som helhet

Många frågor har relativt få svar i de lägsta kategorierna.

4 Dimensionalitet

Eftersom vi har många items med oklar hypotetisk klustring tittar vi explorativt på dem först.

4.1 Rasch

itemnr item
q1 Skolarbetet är intressant
q2 Skolarbetet är roligt
q3 Skolarbetet gör mig så nyfiken att jag får lust att lära mig mer
q4 Skolarbetet är för svårt för mig (-)
q5 Jag kan nå kunskapskraven i skolan om jag försöker
q6 Jag kan få svårare uppgifter om jag vill
q7 Jag har studiero på lektionerna
q8 På lektionerna är vi elever med och påverkar på vilket sätt vi ska arbeta med olika skoluppgifter
q9 På lektionerna får vi diskutera och debattera olika frågor
q10 På lektionerna stör andra elever ordningen i klassrummet (-)
q11 Mina lärare hjälper mig i skolarbetet när jag behöver det
q12 Mina lärare förklarar vad vi ska göra i skolarbetet så att jag förstår
q13 Mina lärare ser till att ordningsreglerna på skolan följs
q14 Mina lärare är rättvisa mot oss elever
q15 I min skola finns det extrauppgifter när man är klar
q16 I min skola respekterar vi varandra
q17 I min skola följer eleverna de ordningsregler som finns
q18 I min skola finns det elever som jag är rädd för (-)
q19 I min skola finns det vuxna som jag är rädd för (-)
q20 Jag vet vem på skolan jag kan prata med om någon har varit elak mot en elev
q21 Jag känner mig trygg i skolan
q22 De vuxna på skolan reagerar om de får reda på att någon har varit elak mot en elev
q23 Elevhälsogruppen i min skola frågar oss elever hur vi har det i skolan och hemma
q24 Jag är nöjd med min skola som helhet

Eigenvalues
2.09
1.86
1.61
1.55
1.30
q1 q2 q3 q4 q5 q6 q7 q8 q9 q10 q11 q12 q13 q14 q15 q16 q17 q18 q19 q20 q21 q22 q23 q24
q1
q2 0.42
q3 0.32 0.32
q4 -0.09 -0.09 -0.07
q5 0 0 0 0.22
q6 -0.06 -0.06 -0.02 0.04 0.1
q7 -0.06 -0.07 -0.06 -0.05 -0.04 -0.03
q8 0.03 0 0.02 -0.14 -0.1 0 0
q9 -0.01 -0.02 -0.01 -0.12 -0.02 0.01 -0.04 0.16
q10 -0.15 -0.14 -0.12 0.02 -0.08 -0.12 0.19 -0.08 -0.13
q11 0 0.01 -0.02 -0.17 -0.06 -0.07 -0.08 -0.02 0.02 -0.13
q12 0.04 0.03 -0.01 -0.06 -0.04 -0.08 -0.1 -0.06 -0.01 -0.13 0.28
q13 -0.03 0 -0.06 -0.17 -0.1 -0.1 -0.03 -0.01 0.02 -0.06 0.11 0.11
q14 -0.03 0 -0.06 -0.2 -0.1 -0.12 -0.1 0 0.02 -0.12 0.22 0.13 0.15
q15 -0.08 -0.07 -0.07 -0.09 -0.05 0.1 -0.04 0 0.01 -0.12 -0.02 -0.01 -0.02 -0.08
q16 -0.11 -0.08 -0.13 -0.11 -0.1 -0.12 0.05 -0.07 -0.08 0.05 -0.04 -0.05 0.03 -0.01 -0.06
q17 -0.07 -0.07 -0.07 -0.11 -0.07 -0.11 0.05 -0.02 -0.07 0.06 -0.03 -0.07 0.08 -0.01 -0.06 0.28
q18 -0.19 -0.19 -0.18 0.12 -0.01 -0.06 -0.09 -0.14 -0.14 0.05 -0.18 -0.14 -0.18 -0.16 -0.08 -0.07 -0.13
q19 -0.11 -0.11 -0.11 0.05 -0.07 -0.1 -0.13 -0.12 -0.12 -0.02 -0.06 -0.04 -0.1 -0.01 -0.09 -0.1 -0.14 0.33
q20 -0.06 -0.05 -0.08 -0.11 -0.03 -0.05 -0.09 -0.02 -0.01 -0.13 -0.05 -0.05 -0.02 -0.04 0.03 -0.03 -0.05 -0.1 -0.07
q21 -0.07 -0.07 -0.12 -0.05 -0.04 -0.12 -0.02 -0.15 -0.07 -0.07 0 0 -0.05 -0.05 -0.08 0.12 0.02 0.11 0.01 0.02
q22 -0.04 -0.05 -0.08 -0.15 -0.12 -0.11 -0.11 -0.07 -0.04 -0.11 0.06 0.02 0.06 0.1 0 0.01 -0.02 -0.12 -0.09 0.07 0.06
q23 -0.06 -0.08 -0.06 -0.12 -0.09 -0.03 -0.11 0.02 0.01 -0.1 -0.04 -0.08 -0.03 -0.04 0.03 -0.07 -0.03 -0.1 -0.08 0.04 -0.09 0.01
q24 0.06 0.07 0 -0.15 -0.1 -0.12 -0.02 -0.08 -0.07 -0.08 0.06 0.03 -0.02 0.01 -0.06 0.08 0.02 -0.12 -0.09 -0.04 0.23 0.09 -0.04
Note:
Relative cut-off value (highlighted in red) is 0.165, which is 0.2 above the average correlation.

Figuren med laddning på Rasch-modellens första kontrast antyder att items q4, 10, 18 och 19 avviker något. Detta är de fyra negativt formulerade frågorna. Det är inte ovanligt att se s.k. metodeffekter när negativa och positiva frågor blandas.

PCA av Rasch-modellens residualer har ett högsta eigenvalue strax över 2.0, vilket innebär att det kan finnas mer än en dimension i data.

När vi tittar på residualkorrelationerna finns vissa kluster, kanske tydligast mellan items q1, 2 och 3.

Utifrån innehållet av frågorna ter det sig också rimligt att identifiera åtminstone tre kluster. De första frågorna handlar om skolarbetet, där de första tre är mycket positivt formulerade. Sedan följer några prestations-/förmågefokuserade items. Efter det handlar det mera om studiero och klassrumsklimat, samt upplevelse av lärares/vuxnas beteenden. Items 18 och 19 sticker ut något i innehållet, med fokus på om eleven är rädd för andra på skolan.

För ytterligare kvantitativa perspektiv på klustring av data använder vi en kompletterande explorativ metod.

4.2 Explorativ faktoranalys (EFA)

En EFA (med 5 faktorer som max) genomförs för att få en bild av potentiella kluster som kan bilda index/faktorer. Estimator WLSMV används, med rotation “oblimin”.

Number of factors chisq.scaled df pvalue.scaled cfi.scaled rmsea.scaled srmr
1 10027 252 < .001 0.849 0.090 0.072
2 6011 229 < .001 0.910 0.073 0.056
3 4494 207 < .001 0.934 0.066 0.045
4 2780 186 < .001 0.960 0.054 0.035
5 1936 166 < .001 0.973 0.047 0.028

Vi tittar närmare på 3-faktormodellen, eftersom det är den modell med lägst antal faktorer som har acceptabel model fit (RMSEA ~ .06, SRMR < .08, CFI > .90). Faktorladdningar över 0.4 indikeras med färg i tabellen nedan.

4.2.1 EFA lista på items och faktorladdningar

Item f1 f2 f3 Item description
q1 0.83 0.02 0 Skolarbetet är intressant
q2 0.79 0.08 0.01 Skolarbetet är roligt
q3 0.72 0.04 -0.01 Skolarbetet gör mig så nyfiken att jag får lust att lära mig mer
q4 0.29 -0.2 0.45 Skolarbetet är för svårt för mig (-)
q5 0.38 -0.07 0.31 Jag kan nå kunskapskraven i skolan om jag försöker
q6 0.22 0.23 0.06 Jag kan få svårare uppgifter om jag vill
q7 0.04 0.41 0.16 Jag har studiero på lektionerna
q8 0.18 0.51 -0.11 På lektionerna är vi elever med och påverkar på vilket sätt vi ska arbeta med olika skoluppgifter
q9 0.16 0.53 -0.08 På lektionerna får vi diskutera och debattera olika frågor
q10 -0.07 0.33 0.24 På lektionerna stör andra elever ordningen i klassrummet (-)
q11 0.1 0.72 -0.05 Mina lärare hjälper mig i skolarbetet när jag behöver det
q12 0.19 0.56 0.02 Mina lärare förklarar vad vi ska göra i skolarbetet så att jag förstår
q13 0.02 0.73 -0.07 Mina lärare ser till att ordningsreglerna på skolan följs
q14 0.04 0.75 -0.05 Mina lärare är rättvisa mot oss elever
q15 0.04 0.48 -0.07 I min skola finns det extrauppgifter när man är klar
q16 -0.14 0.7 0.19 I min skola respekterar vi varandra
q17 -0.09 0.67 0.1 I min skola följer eleverna de ordningsregler som finns
q18 -0.03 0.03 0.73 I min skola finns det elever som jag är rädd för (-)
q19 0.06 0.19 0.52 I min skola finns det vuxna som jag är rädd för (-)
q20 0.06 0.57 -0.02 Jag vet vem på skolan jag kan prata med om någon har varit elak mot en elev
q21 0.05 0.5 0.42 Jag känner mig trygg i skolan
q22 0 0.69 0.01 De vuxna på skolan reagerar om de får reda på att någon har varit elak mot en elev
q23 0.05 0.55 -0.08 Elevhälsogruppen i min skola frågar oss elever hur vi har det i skolan och hemma
q24 0.18 0.54 0.19 Jag är nöjd med min skola som helhet

4.2.2 Kluster utifrån EFA

itemnr item
q1 Skolarbetet är intressant
q2 Skolarbetet är roligt
q3 Skolarbetet gör mig så nyfiken att jag får lust att lära mig mer
q4 Skolarbetet är för svårt för mig (-)
q5 Jag kan nå kunskapskraven i skolan om jag försöker
q6 Jag kan få svårare uppgifter om jag vill
q7 Jag har studiero på lektionerna
q8 På lektionerna är vi elever med och påverkar på vilket sätt vi ska arbeta med olika skoluppgifter
q9 På lektionerna får vi diskutera och debattera olika frågor
q10 På lektionerna stör andra elever ordningen i klassrummet (-)
q11 Mina lärare hjälper mig i skolarbetet när jag behöver det
q12 Mina lärare förklarar vad vi ska göra i skolarbetet så att jag förstår
q13 Mina lärare ser till att ordningsreglerna på skolan följs
q14 Mina lärare är rättvisa mot oss elever
q15 I min skola finns det extrauppgifter när man är klar
q16 I min skola respekterar vi varandra
q17 I min skola följer eleverna de ordningsregler som finns
q18 I min skola finns det elever som jag är rädd för (-)
q19 I min skola finns det vuxna som jag är rädd för (-)
q20 Jag vet vem på skolan jag kan prata med om någon har varit elak mot en elev
q21 Jag känner mig trygg i skolan
q22 De vuxna på skolan reagerar om de får reda på att någon har varit elak mot en elev
q23 Elevhälsogruppen i min skola frågar oss elever hur vi har det i skolan och hemma
q24 Jag är nöjd med min skola som helhet

Vi har ett kluster med de tre första frågorna, som beskriver elevens upplevelse av själva skolarbetet.

Det andra klustret, som har klart flest items, verkar innehålla frågor relaterade till elevens trivsel i skolan, vilket inkluderar trygghet och tillit till lärare/vuxna.

Det tredje klustret bildas av frågor som rör huruvida eleven är rädd för elever eller vuxna på skolan, samt en fråga om skolarbetet upplevs som svårt. Vi ser även att fråga 21 laddar på både denna faktor och det andra klustret, men att faktorladdningen är högre på andra klustret.

Eftersom varken 3 eller 4 frågor kommer kunna fungera för att bilda ett indexvärde med god reliabilitet fokuserar vi analysen på det klustret med flest frågor.

Även om fråga 10 har en faktorladdning på 0.33 på andra klustret, vilket är under 0.4, så känns innehållet relevant, så vi provar att ta med den i analysen.

5 Rasch-analys 1 - “Positiv skolanknytning”

Beteckningen på dessa items är godtyckligt satt utifrån frågornas innehåll, samt att forskning kring risk- och skyddsfaktorer ibland använder detta samlingsbegrepp. Rubriceringen skulle även kunna tänkas vara exempelvis “trivsel och trygghet i skolan”.

itemnr item
q7 Jag har studiero på lektionerna
q8 På lektionerna är vi elever med och påverkar på vilket sätt vi ska arbeta med olika skoluppgifter
q9 På lektionerna får vi diskutera och debattera olika frågor
q10 På lektionerna stör andra elever ordningen i klassrummet (-)
q11 Mina lärare hjälper mig i skolarbetet när jag behöver det
q12 Mina lärare förklarar vad vi ska göra i skolarbetet så att jag förstår
q13 Mina lärare ser till att ordningsreglerna på skolan följs
q14 Mina lärare är rättvisa mot oss elever
q15 I min skola finns det extrauppgifter när man är klar
q16 I min skola respekterar vi varandra
q17 I min skola följer eleverna de ordningsregler som finns
q20 Jag vet vem på skolan jag kan prata med om någon har varit elak mot en elev
q21 Jag känner mig trygg i skolan
q22 De vuxna på skolan reagerar om de får reda på att någon har varit elak mot en elev
q23 Elevhälsogruppen i min skola frågar oss elever hur vi har det i skolan och hemma
q24 Jag är nöjd med min skola som helhet
OutfitMSQ InfitMSQ OutfitZSTD InfitZSTD
q7 1.034 1.044 0.379 0.563
q8 1.016 1.017 0.353 0.213
q9 0.968 0.967 -0.662 -0.539
q11 0.759 0.777 -1.734 -2.389
q12 0.847 0.868 -1.132 -1.306
q13 0.769 0.826 -2.154 -1.897
q14 0.825 0.818 -0.937 -1.949
q15 1.174 1.115 1.261 1.406
q16 0.82 0.839 -2.828 -2.651
q17 0.867 0.87 -2.173 -2.146
q20 1.058 1.04 0.074 0.523
q21 0.738 0.821 -2.585 -2.049
q22 0.896 0.866 -0.941 -1.698
q23 1.117 1.119 1.188 1.294
q24 0.759 0.779 -2.635 -2.703
q10 1.47 1.288 5.565 3.866
PCA of Rasch model residuals
Eigenvalues
1.75
1.54
1.35
1.21
1.13
q7 q8 q9 q11 q12 q13 q14 q15 q16 q17 q20 q21 q22 q23 q24 q10
q7
q8 -0.04
q9 -0.08 0.13
q11 -0.13 -0.07 -0.03
q12 -0.13 -0.09 -0.03 0.25
q13 -0.08 -0.07 -0.03 0.05 0.06
q14 -0.16 -0.05 -0.02 0.17 0.09 0.08
q15 -0.07 -0.03 -0.02 -0.06 -0.04 -0.06 -0.13
q16 -0.01 -0.13 -0.14 -0.11 -0.1 -0.05 -0.09 -0.11
q17 -0.01 -0.08 -0.13 -0.09 -0.12 0.01 -0.09 -0.11 0.22
q20 -0.13 -0.05 -0.04 -0.1 -0.08 -0.08 -0.1 0 -0.09 -0.11
q21 -0.04 -0.17 -0.09 -0.04 -0.03 -0.1 -0.09 -0.1 0.08 -0.03 0
q22 -0.17 -0.13 -0.1 0 -0.03 -0.02 0.04 -0.04 -0.07 -0.1 0.02 0.02
q23 -0.15 -0.02 -0.03 -0.09 -0.12 -0.1 -0.1 0 -0.14 -0.09 0 -0.12 -0.05
q24 -0.06 -0.12 -0.11 0 0 -0.09 -0.05 -0.1 0.02 -0.04 -0.08 0.21 0.03 -0.08
q10 0.17 -0.12 -0.16 -0.17 -0.15 -0.1 -0.16 -0.14 0 0.01 -0.16 -0.09 -0.16 -0.14 -0.11
Note:
Relative cut-off value (highlighted in red) is 0.144, which is 0.2 above the average correlation.

Item q10 har hög item fit och avvikande faktorladdning på första kontrasten. Svarskategorierna fungerar däremot utmärkt för q10, och kan inte vara skäl till problem med item fit. Sammantaget verkar q10 inte passa in i modellen med övriga items och tas därför bort.

Figurerna för targeting och itemhierarki visar på problem med de lägsta svarskategorierna för flera items, så vi tittar närmare på dessa och genomför åtgärder innan vi upprepar analysen utan q10.

5.1 Analys av svarskategorier

Alla items uppvisar stora problem. Vi börjar med att slå samman de två lägsta svarskategorierna items:

  • q11, q14, q20, q21, q22, q23, q24

Nu fungerar alla svarskategorier acceptabelt.

6 Rasch-analys 2

itemnr item
q7 Jag har studiero på lektionerna
q8 På lektionerna är vi elever med och påverkar på vilket sätt vi ska arbeta med olika skoluppgifter
q9 På lektionerna får vi diskutera och debattera olika frågor
q11 Mina lärare hjälper mig i skolarbetet när jag behöver det
q12 Mina lärare förklarar vad vi ska göra i skolarbetet så att jag förstår
q13 Mina lärare ser till att ordningsreglerna på skolan följs
q14 Mina lärare är rättvisa mot oss elever
q15 I min skola finns det extrauppgifter när man är klar
q16 I min skola respekterar vi varandra
q17 I min skola följer eleverna de ordningsregler som finns
q20 Jag vet vem på skolan jag kan prata med om någon har varit elak mot en elev
q21 Jag känner mig trygg i skolan
q22 De vuxna på skolan reagerar om de får reda på att någon har varit elak mot en elev
q23 Elevhälsogruppen i min skola frågar oss elever hur vi har det i skolan och hemma
q24 Jag är nöjd med min skola som helhet
OutfitMSQ InfitMSQ OutfitZSTD InfitZSTD
q7 1.141 1.14 1.784 1.722
q8 1.058 1.062 0.746 0.927
q9 1.002 1.001 0.348 -0.106
q11 0.783 0.799 -1.738 -2.816
q12 0.881 0.891 -1.365 -1.191
q13 0.8 0.85 -2.192 -1.778
q14 0.809 0.825 -2.046 -2.549
q15 1.221 1.152 1.783 1.746
q16 0.879 0.889 -1.575 -1.45
q17 0.922 0.921 -0.768 -1.167
q20 1.004 1.016 0.016 0.442
q21 0.771 0.848 -1.964 -2.084
q22 0.89 0.88 -1.412 -1.728
q23 1.092 1.086 1.116 1.25
q24 0.809 0.819 -2.02 -2.922
PCA of Rasch model residuals
Eigenvalues
1.63
1.55
1.33
1.21
1.08
q7 q8 q9 q11 q12 q13 q14 q15 q16 q17 q20 q21 q22 q23 q24
q7
q8 -0.04
q9 -0.08 0.11
q11 -0.13 -0.1 -0.05
q12 -0.13 -0.12 -0.06 0.21
q13 -0.09 -0.09 -0.06 0.01 0.04
q14 -0.15 -0.08 -0.05 0.14 0.06 0.05
q15 -0.07 -0.05 -0.04 -0.09 -0.06 -0.09 -0.14
q16 0 -0.15 -0.16 -0.12 -0.12 -0.07 -0.09 -0.13
q17 0 -0.1 -0.14 -0.11 -0.13 -0.01 -0.09 -0.13 0.22
q20 -0.13 -0.07 -0.06 -0.1 -0.09 -0.09 -0.09 -0.01 -0.1 -0.13
q21 -0.03 -0.19 -0.11 -0.05 -0.04 -0.11 -0.08 -0.12 0.08 -0.03 -0.02
q22 -0.16 -0.15 -0.13 -0.01 -0.05 -0.02 0.01 -0.06 -0.08 -0.1 0.02 0
q23 -0.14 -0.03 -0.05 -0.1 -0.12 -0.09 -0.1 0.01 -0.14 -0.1 -0.01 -0.12 -0.04
q24 -0.05 -0.13 -0.13 -0.01 -0.02 -0.1 -0.06 -0.12 0 -0.05 -0.08 0.2 0.01 -0.08
Note:
Relative cut-off value (highlighted in red) is 0.139, which is 0.2 above the average correlation.

Item fit ser i stort bra ut. PCA av residualer också bra.

Residualkorrelationer över gränsvärdet 0.2 finns för:

  • q11 och q12 (läraren hjälper/förklarar skolarbetet)
  • q16 och q17 (respekt och regelföljande)
  • q21 och q24 (trygg i/nöjd med skolan)

Frågorna är, som väntat vid residualkorrelationer, tydligt relaterade till varandra innehållsmässigt. Gällande fråga q11 och q12 är det liten skillnad på frågornas mätegenskaper, q11 har något lägre infit och targeting är också tämligen lika, även om q11 ligger lite högre, vilket är önskvärt. Innehållsmässigt kan man kanske tänka att q11, “läraren hjälper när jag behöver det”, är något bredare och även skulle kunna tänkas innefatta att läraren (q12) “förklarar så jag förstår”. Samtidigt är q11 även korrelerad med q14.

Item q17 har bättre targeting än q16, så q16 tas bort.

Gällande q21 och 24 så är “nöjd” är något mindre relevant än “trygg” (q21), och q24 ligger också lågt på infit ZSTD.

Vi tar bort:

  • q11
  • q16
  • q24

7 Rasch-analys 3

itemnr item
q7 Jag har studiero på lektionerna
q8 På lektionerna är vi elever med och påverkar på vilket sätt vi ska arbeta med olika skoluppgifter
q9 På lektionerna får vi diskutera och debattera olika frågor
q12 Mina lärare förklarar vad vi ska göra i skolarbetet så att jag förstår
q13 Mina lärare ser till att ordningsreglerna på skolan följs
q14 Mina lärare är rättvisa mot oss elever
q15 I min skola finns det extrauppgifter när man är klar
q17 I min skola följer eleverna de ordningsregler som finns
q20 Jag vet vem på skolan jag kan prata med om någon har varit elak mot en elev
q21 Jag känner mig trygg i skolan
q22 De vuxna på skolan reagerar om de får reda på att någon har varit elak mot en elev
q23 Elevhälsogruppen i min skola frågar oss elever hur vi har det i skolan och hemma
OutfitMSQ InfitMSQ OutfitZSTD InfitZSTD
q7 1.092 1.094 1.171 1.356
q8 0.974 0.979 -0.281 -0.351
q9 0.925 0.925 -1.217 -0.896
q12 0.874 0.875 -0.999 -1.706
q13 0.764 0.805 -2.535 -2.543
q14 0.786 0.808 -2.19 -2.914
q15 1.142 1.075 1.155 0.806
q17 0.921 0.916 -0.851 -0.869
q20 0.914 0.954 -0.689 -0.895
q21 0.794 0.862 -1.861 -1.754
q22 0.856 0.853 -1.435 -2.194
q23 1.017 1.02 0.03 0.552
PCA of Rasch model residuals
Eigenvalues
1.45
1.35
1.29
1.12
1.09
q7 q8 q9 q12 q13 q14 q15 q17 q20 q21 q22 q23
q7
q8 -0.06
q9 -0.1 0.07
q12 -0.13 -0.13 -0.07
q13 -0.1 -0.12 -0.08 0.04
q14 -0.15 -0.09 -0.06 0.07 0.05
q15 -0.1 -0.09 -0.08 -0.07 -0.12 -0.16
q17 0.01 -0.1 -0.15 -0.11 0.01 -0.07 -0.13
q20 -0.15 -0.1 -0.09 -0.09 -0.1 -0.09 -0.04 -0.12
q21 -0.02 -0.18 -0.11 -0.01 -0.09 -0.05 -0.11 0.01 -0.01
q22 -0.16 -0.17 -0.15 -0.04 -0.02 0.02 -0.07 -0.08 0.01 0.03
q23 -0.17 -0.07 -0.08 -0.12 -0.11 -0.11 -0.02 -0.1 -0.04 -0.11 -0.06
Note:
Relative cut-off value (highlighted in red) is 0.125, which is 0.2 above the average correlation.

Två items (q13 och 14) har något låg item fit ZSTD, men i övrigt ser allt bra ut, förutom targeting som visar att en takeffekt föreligger, d.v.s att vi har en mindre god matchning mellan frågornas och respondenternas egenskaper. Det innebär att frågorna främst ger information om de elever som har det mindre bra på skolan.

Innan vi undersöker reliabiliteten ska vi säkerställa att frågorna uppvisar relevant invarians.

8 DIF/invarians-analys

8.1 Könstillhörighet

itemnr item
q7 Jag har studiero på lektionerna
q8 På lektionerna är vi elever med och påverkar på vilket sätt vi ska arbeta med olika skoluppgifter
q9 På lektionerna får vi diskutera och debattera olika frågor
q12 Mina lärare förklarar vad vi ska göra i skolarbetet så att jag förstår
q13 Mina lärare ser till att ordningsreglerna på skolan följs
q14 Mina lärare är rättvisa mot oss elever
q15 I min skola finns det extrauppgifter när man är klar
q17 I min skola följer eleverna de ordningsregler som finns
q20 Jag vet vem på skolan jag kan prata med om någon har varit elak mot en elev
q21 Jag känner mig trygg i skolan
q22 De vuxna på skolan reagerar om de får reda på att någon har varit elak mot en elev
q23 Elevhälsogruppen i min skola frågar oss elever hur vi har det i skolan och hemma

Item 2 3 Mean location StDev MaxDiff
q7 0.597 0.461 0.529 0.096 0.136
q8 0.420 0.481 0.451 0.043 0.061
q9 -0.333 -0.174 -0.253 0.112 0.159
q12 -0.966 -0.968 -0.967 0.002 0.002
q13 -0.605 -0.599 -0.602 0.004 0.006
q14 0.251 0.394 0.323 0.101 0.143
q15 -0.965 -0.862 -0.914 0.073 0.104
q17 0.772 0.613 0.692 0.112 0.158
q20 -0.073 -0.044 -0.058 0.020 0.029
q21 -0.099 -0.410 -0.254 0.220 0.311
q22 0.175 0.292 0.234 0.083 0.117
q23 0.825 0.814 0.820 0.008 0.012

Inget item har DIF som överstiger gränsvärdet på 0.5 logits. Fråga q21 (“Jag känner mig trygg i skolan”) är den enda frågan som överstiger 0.3.

8.2 Årtal

År n
2015 4948
2016 716
2017 4748
2018 696
2019 5055
2020 30
2021 875

År 2020 har för lågt antal respondenter och filtreras bort inför DIF-analys över årtal.

itemnr item
q7 Jag har studiero på lektionerna
q8 På lektionerna är vi elever med och påverkar på vilket sätt vi ska arbeta med olika skoluppgifter
q9 På lektionerna får vi diskutera och debattera olika frågor
q12 Mina lärare förklarar vad vi ska göra i skolarbetet så att jag förstår
q13 Mina lärare ser till att ordningsreglerna på skolan följs
q14 Mina lärare är rättvisa mot oss elever
q15 I min skola finns det extrauppgifter när man är klar
q17 I min skola följer eleverna de ordningsregler som finns
q20 Jag vet vem på skolan jag kan prata med om någon har varit elak mot en elev
q21 Jag känner mig trygg i skolan
q22 De vuxna på skolan reagerar om de får reda på att någon har varit elak mot en elev
q23 Elevhälsogruppen i min skola frågar oss elever hur vi har det i skolan och hemma

Item 3 4 7 8 9 Mean location StDev MaxDiff
q7 0.544 0.554 0.435 0.695 0.547 0.555 0.093 0.260
q8 0.449 0.487 0.554 0.583 0.421 0.499 0.069 0.162
q9 -0.303 -0.356 -0.282 -0.357 -0.329 -0.325 0.033 0.075
q12 -0.961 -0.897 -0.646 -0.767 -0.836 -0.821 0.122 0.316
q13 -0.638 -0.703 -0.722 -0.547 -0.704 -0.663 0.072 0.175
q14 0.287 0.305 0.462 0.286 0.384 0.345 0.077 0.176
q15 -0.826 -0.889 -0.619 -0.877 -0.928 -0.828 0.122 0.309
q17 0.680 0.632 0.460 0.684 0.837 0.659 0.135 0.377
q20 -0.034 -0.094 -0.197 -0.266 -0.122 -0.143 0.090 0.232
q21 -0.205 -0.148 -0.246 -0.246 -0.052 -0.179 0.082 0.194
q22 0.212 0.290 0.035 0.130 0.247 0.183 0.101 0.255
q23 0.796 0.819 0.765 0.680 0.535 0.719 0.116 0.285

Inga items överskrider 0.5 logits över tid. Tyvärr blir figurerna och tabellen något svårtydd eftersom de årtal som har större mängder respondenter (2017, 2019, 2021), skiljer sig från de övriga åren i den första förgreningen. Därför visar noderna, från vänster till höger:

  • 2015+2017 - 2019 - 2016 - 2018 - 2021

(ska se om jag hinner ordna med att manuellt sortera om figurerna vid ett senare tillfälle)

9 Reliabilitet

Reliabiliteten är god för 66% av respondenterna, och takeffekten består i att 33% återfinns över området där reliabiliten är 0.7 eller högre.

10 Person fit

Frågorna passar de flesta respondenter bra, sett enbart till mätmodellen.

11 Item-parametrar

Threshold 1 Threshold 2 Threshold 3 Item location
q7 -0.53 0.38 3.35 1.07
q8 -0.43 0.33 3.05 0.98
q9 -0.92 -0.50 1.99 0.19
q12 -1.34 -1.12 1.29 -0.39
q13 -1.30 -0.59 1.44 -0.15
q14 0.19 1.44 NA 0.82
q15 -1.34 -0.87 1.20 -0.33
q17 -0.87 0.63 3.78 1.18
q20 0.07 0.81 NA 0.44
q21 -0.46 1.12 NA 0.33
q22 0.04 1.44 NA 0.74
q23 0.48 2.11 NA 1.3
Ordinal sum score Logit score Logit std.error
0 -3.97 NA
1 -3.20 1.00
2 -2.50 0.72
3 -2.07 0.60
4 -1.76 0.53
5 -1.50 0.49
6 -1.27 0.46
7 -1.07 0.44
8 -0.89 0.42
9 -0.71 0.41
10 -0.54 0.41
11 -0.38 0.40
12 -0.22 0.40
13 -0.06 0.40
14 0.10 0.40
15 0.26 0.40
16 0.42 0.40
17 0.58 0.41
18 0.75 0.41
19 0.93 0.42
20 1.11 0.43
21 1.30 0.44
22 1.50 0.46
23 1.72 0.48
24 1.96 0.50
25 2.23 0.53
26 2.53 0.57
27 2.89 0.62
28 3.32 0.69
29 3.88 0.81
30 4.73 1.08
31 5.66 NA

12 Omvandling till mätvärden

De items som Rasch-analysen har visat fungerar tillsammans kan ligga till grund för ett mätvärde eller indexvärde, som estimeras utifrån varje individs svar på de inkluderade frågorna. Detta värde tas fram på samma logit-skala som användts i analyserna för att visa på personernas och items “locations”, och är intervallskalenivå, vilket gör dem lämpliga som underlag för parametriska statistiska analyser.

I kodblocken nedan (klicka på “Code” i rubriken av detta dokument för att få fram hela källkoden, sök sedan efter “omvandling”) framgår hur item-parametrarna som syns i tabellen ovan används för att estimera varje individs mätvärde (“theta”). Vi kommer sedan att göra några visualiseringar av fördelningen av dessa mätvärden.

13 Datavisualisering

13.1 Demografi

Individer med svar på minst 8 av 12 frågor återfinns i data. År 2020 har tagits bort p.g.a. för litet underlag.

Kön n
2015
Flicka 3690
Pojke 3706
Annat/vill ej svara 137
2016
Flicka 648
Pojke 556
Annat/vill ej svara 13
2017
Flicka 3979
Pojke 4099
Annat/vill ej svara 198
2018
Flicka 634
Pojke 593
Annat/vill ej svara 19
2019
Flicka 4153
Pojke 4339
Annat/vill ej svara 194
2021
Flicka 824
Pojke 814
Annat/vill ej svara 54

13.2 Uppdelat på kön per år

13.3 Uppdelat per år

Med kön som violin-plot och alla tillsammans som notchad boxplot (median markerad).

13.4 Uppdelat per kommun och år

13.5 Per år och kommun

14 Programvara som använts för analyserna

Package Version Citation
arrow 10.0.0 Richardson et al. (2022)
base 4.2.2 R Core Team (2022)
car 3.1.1 Fox and Weisberg (2019)
catR 3.17 Magis and Raîche (2012); Magis and Barrada (2017)
colorspace 2.0.3 Zeileis, Hornik, and Murrell (2009); Stauffer et al. (2009); Zeileis et al. (2020)
cowplot 1.1.1 Wilke (2020)
eRm 1.0.2 Mair and Hatzinger (2007b); Mair and Hatzinger (2007a); Hatzinger and Rusch (2009); Rusch, Maier, and Hatzinger (2013); Koller, Maier, and Hatzinger (2015); Debelak and Koller (2019); Mair, Hatzinger, and Maier (2021)
extrafont 0.18 Chang (2022)
foreach 1.5.2 Microsoft and Weston (2022)
formattable 0.2.1 Ren and Russell (2021)
ggdist 3.2.0 Kay (2022)
gghalves 0.1.4 Tiedemann (2022)
ggpp 0.4.5 Aphalo (2022)
ggrepel 0.9.2 Slowikowski (2022)
glue 1.6.2 Hester and Bryan (2022)
grateful 0.1.11 Rodríguez-Sánchez, Jackson, and Hutchins (2022)
gt 0.8.0 Iannone et al. (2022)
gtExtras 0.4.3 Mock (2022)
HH 3.1.49 Heiberger and Holland (2004); Heiberger and Robbins (2014); Heiberger and Holland (2015); Heiberger (2022)
janitor 2.1.0 Firke (2021)
kableExtra 1.3.4 Zhu (2021)
knitr 1.41 Xie (2014); Xie (2015); Xie (2022)
lavaan 0.6.12 Rosseel (2012)
matrixStats 0.63.0 Bengtsson (2022)
mirt 1.37.1 Chalmers (2012)
psych 2.2.9 Revelle (2022)
psychotree 0.16.0 Trepte and Verbeet (2010); Strobl, Wickelmaier, and Zeileis (2011); Strobl, Kopf, and Zeileis (2015); Komboz, Zeileis, and Strobl (2018); Wickelmaier and Zeileis (2018)
reshape 0.8.9 Wickham (2007)
RISEkbmRasch 0.1.7.8 Johansson (2022)
rmarkdown 2.19 Xie, Allaire, and Grolemund (2018); Xie, Dervieux, and Riederer (2020); Allaire et al. (2022)
tidyverse 1.3.2 Wickham et al. (2019)

15 Referenser

Allaire, JJ, Yihui Xie, Jonathan McPherson, Javier Luraschi, Kevin Ushey, Aron Atkins, Hadley Wickham, Joe Cheng, Winston Chang, and Richard Iannone. 2022. Rmarkdown: Dynamic Documents for r. https://github.com/rstudio/rmarkdown.
Aphalo, Pedro J. 2022. Ggpp: Grammar Extensions to ’Ggplot2’. https://CRAN.R-project.org/package=ggpp.
Bengtsson, Henrik. 2022. matrixStats: Functions That Apply to Rows and Columns of Matrices (and to Vectors). https://CRAN.R-project.org/package=matrixStats.
Chalmers, R. Philip. 2012. mirt: A Multidimensional Item Response Theory Package for the R Environment.” Journal of Statistical Software 48 (6): 1–29. https://doi.org/10.18637/jss.v048.i06.
Chang, Winston. 2022. Extrafont: Tools for Using Fonts. https://CRAN.R-project.org/package=extrafont.
Debelak, Rudolf, and Ingrid Koller. 2019. Testing the Local Independence Assumption of the Rasch Model With Q3-Based Nonparametric Model Tests.” Applied Psychological Measurement. https://doi.org/10.1177/0146621619835501.
Firke, Sam. 2021. Janitor: Simple Tools for Examining and Cleaning Dirty Data. https://CRAN.R-project.org/package=janitor.
Fox, John, and Sanford Weisberg. 2019. An R Companion to Applied Regression. Third. Thousand Oaks CA: Sage. https://socialsciences.mcmaster.ca/jfox/Books/Companion/.
Hatzinger, Reinhold, and Thomas Rusch. 2009. IRT models with relaxed assumptions in eRm: A manual-like instruction.” Psychology Science Quarterly 51.
Heiberger, Richard M. 2022. HH: Statistical Analysis and Data Display: Heiberger and Holland. https://CRAN.R-project.org/package=HH.
Heiberger, Richard M., and Burt Holland. 2004. Statistical Analysis and Data Display: An Intermediate Course with Examples in S-Plus, R, and SAS. First. Springer-Verlag, New York. https://link.springer.com/book/10.1007/978-1-4757-4284-8.
———. 2015. Statistical Analysis and Data Display: An Intermediate Course with Examples in R. Second. Springer-Verlag, New York. https://link.springer.com/book/10.1007/978-1-4939-2122-5.
Heiberger, Richard M., and Naomi B. Robbins. 2014. “Design of Diverging Stacked Bar Charts for Likert Scales and Other Applications.” Journal of Statistical Software 57 (5): 1–32. https://doi.org/10.18637/jss.v057.i05.
Hester, Jim, and Jennifer Bryan. 2022. Glue: Interpreted String Literals. https://CRAN.R-project.org/package=glue.
Iannone, Richard, Joe Cheng, Barret Schloerke, Ellis Hughes, and JooYoung Seo. 2022. Gt: Easily Create Presentation-Ready Display Tables. https://CRAN.R-project.org/package=gt.
Johansson, Magnus. 2022. RISEkbmRasch: Psychometric Analysis with Rasch Measurement Theory. https://github.com/pgmj/RISEkbmRasch.
Kay, Matthew. 2022. ggdist: Visualizations of Distributions and Uncertainty. https://doi.org/10.5281/zenodo.3879620.
Koller, Ingrid, Marco Johannes Maier, and Reinhold Hatzinger. 2015. An Empirical Power Analysis of Quasi-Exact Tests for the Rasch Model: Measurement Invariance in Small Samples.” Methodology 11. https://doi.org/10.1027/1614-2241/a000090.
Komboz, Basil, Achim Zeileis, and Carolin Strobl. 2018. “Tree-Based Global Model Tests for Polytomous Rasch Models.” Educational and Psychological Measurement 78 (1): 128–66. https://doi.org/10.1177/0013164416664394.
Magis, David, and Juan Ramon Barrada. 2017. “Computerized Adaptive Testing with R: Recent Updates of the Package catR.” Journal of Statistical Software, Code Snippets 76 (1): 1–19. https://doi.org/10.18637/jss.v076.c01.
Magis, David, and Gilles Raîche. 2012. “Random Generation of Response Patterns Under Computerized Adaptive Testing with the R Package catR.” Journal of Statistical Software 48 (8): 1–31. https://doi.org/10.18637/jss.v048.i08.
Mair, Patrick, and Reinhold Hatzinger. 2007a. CML based estimation of extended Rasch models with the eRm package in R.” Psychology Science 49.
———. 2007b. Extended Rasch modeling: The eRm package for the application of IRT models in R.” Journal of Statistical Software 20. https://www.jstatsoft.org/v20/i09.
Mair, Patrick, Reinhold Hatzinger, and Marco Johannes Maier. 2021. eRm: Extended Rasch Modeling. https://cran.r-project.org/package=eRm.
Microsoft, and Steve Weston. 2022. Foreach: Provides Foreach Looping Construct. https://CRAN.R-project.org/package=foreach.
Mock, Thomas. 2022. gtExtras: Extending ’Gt’ for Beautiful HTML Tables. https://CRAN.R-project.org/package=gtExtras.
R Core Team. 2022. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. https://www.R-project.org/.
Ren, Kun, and Kenton Russell. 2021. Formattable: Create ’Formattable’ Data Structures. https://CRAN.R-project.org/package=formattable.
Revelle, William. 2022. Psych: Procedures for Psychological, Psychometric, and Personality Research. Evanston, Illinois: Northwestern University. https://CRAN.R-project.org/package=psych.
Richardson, Neal, Ian Cook, Nic Crane, Dewey Dunnington, Romain François, Jonathan Keane, Dragoș Moldovan-Grünfeld, Jeroen Ooms, and Apache Arrow. 2022. Arrow: Integration to ’Apache’ ’Arrow’. https://CRAN.R-project.org/package=arrow.
Rodríguez-Sánchez, Francisco, Connor P. Jackson, and Shaurita D. Hutchins. 2022. Grateful: Facilitate Citation of r Packages. https://github.com/Pakillo/grateful.
Rosseel, Yves. 2012. lavaan: An R Package for Structural Equation Modeling.” Journal of Statistical Software 48 (2): 1–36. https://doi.org/10.18637/jss.v048.i02.
Rusch, Thomas, Marco Johannes Maier, and Reinhold Hatzinger. 2013. Linear logistic models with relaxed assumptions in R.” In Algorithms from and for Nature and Life, edited by Berthold Lausen, Dirk van den Poel, and Alfred Ultsch. Studies in Classification, Data Analysis, and Knowledge Organization. New York: Springer. https://doi.org/10.1007/978-3-319-00035-0_34.
Slowikowski, Kamil. 2022. Ggrepel: Automatically Position Non-Overlapping Text Labels with ’Ggplot2’. https://CRAN.R-project.org/package=ggrepel.
Stauffer, Reto, Georg J. Mayr, Markus Dabernig, and Achim Zeileis. 2009. “Somewhere over the Rainbow: How to Make Effective Use of Colors in Meteorological Visualizations.” Bulletin of the American Meteorological Society 96 (2): 203–16. https://doi.org/10.1175/BAMS-D-13-00155.1.
Strobl, Carolin, Julia Kopf, and Achim Zeileis. 2015. “Rasch Trees: A New Method for Detecting Differential Item Functioning in the Rasch Model.” Psychometrika 80 (2): 289–316. https://doi.org/10.1007/s11336-013-9388-3.
Strobl, Carolin, Florian Wickelmaier, and Achim Zeileis. 2011. “Accounting for Individual Differences in Bradley-Terry Models by Means of Recursive Partitioning.” Journal of Educational and Behavioral Statistics 36 (2): 135–53. https://doi.org/10.3102/1076998609359791.
Tiedemann, Frederik. 2022. Gghalves: Compose Half-Half Plots Using Your Favourite Geoms. https://CRAN.R-project.org/package=gghalves.
Trepte, Sabine, and Markus Verbeet, eds. 2010. Allgemeinbildung in Deutschland – Erkenntnisse Aus Dem SPIEGEL Studentenpisa-Test. Wiesbaden: VS Verlag.
Wickelmaier, Florian, and Achim Zeileis. 2018. “Using Recursive Partitioning to Account for Parameter Heterogeneity in Multinomial Processing Tree Models.” Behavior Research Methods 50 (3): 1217–33. https://doi.org/10.3758/s13428-017-0937-z.
Wickham, Hadley. 2007. “Reshaping Data with the Reshape Package.” Journal of Statistical Software 21 (12). https://www.jstatsoft.org/v21/i12/.
Wickham, Hadley, Mara Averick, Jennifer Bryan, Winston Chang, Lucy D’Agostino McGowan, Romain François, Garrett Grolemund, et al. 2019. “Welcome to the tidyverse.” Journal of Open Source Software 4 (43): 1686. https://doi.org/10.21105/joss.01686.
Wilke, Claus O. 2020. Cowplot: Streamlined Plot Theme and Plot Annotations for ’Ggplot2’. https://CRAN.R-project.org/package=cowplot.
Xie, Yihui. 2014. “Knitr: A Comprehensive Tool for Reproducible Research in R.” In Implementing Reproducible Computational Research, edited by Victoria Stodden, Friedrich Leisch, and Roger D. Peng. Chapman; Hall/CRC. http://www.crcpress.com/product/isbn/9781466561595.
———. 2015. Dynamic Documents with R and Knitr. 2nd ed. Boca Raton, Florida: Chapman; Hall/CRC. https://yihui.org/knitr/.
———. 2022. Knitr: A General-Purpose Package for Dynamic Report Generation in r. https://yihui.org/knitr/.
Xie, Yihui, J. J. Allaire, and Garrett Grolemund. 2018. R Markdown: The Definitive Guide. Boca Raton, Florida: Chapman; Hall/CRC. https://bookdown.org/yihui/rmarkdown.
Xie, Yihui, Christophe Dervieux, and Emily Riederer. 2020. R Markdown Cookbook. Boca Raton, Florida: Chapman; Hall/CRC. https://bookdown.org/yihui/rmarkdown-cookbook.
Zeileis, Achim, Jason C. Fisher, Kurt Hornik, Ross Ihaka, Claire D. McWhite, Paul Murrell, Reto Stauffer, and Claus O. Wilke. 2020. colorspace: A Toolbox for Manipulating and Assessing Colors and Palettes.” Journal of Statistical Software 96 (1): 1–49. https://doi.org/10.18637/jss.v096.i01.
Zeileis, Achim, Kurt Hornik, and Paul Murrell. 2009. “Escaping RGBland: Selecting Colors for Statistical Graphics.” Computational Statistics & Data Analysis 53 (9): 3259–70. https://doi.org/10.1016/j.csda.2008.11.033.
Zhu, Hao. 2021. kableExtra: Construct Complex Table with ’Kable’ and Pipe Syntax. https://CRAN.R-project.org/package=kableExtra.